现代机器学习任务通常不仅需要考虑一个目标，而且需要考虑多个目标。例如，除了预测质量外，这可能是学识渊博的模型或其任何组合的效率，稳健性或公平性。多目标学习为处理此类问题提供了自然框架，而无需提交早期权衡。令人惊讶的是，到目前为止，统计学习理论几乎没有深入了解多目标学习的概括属性。在这项工作中，我们采取了第一步来填补这一空白：我们为多目标设置建立了基础概括范围，以及通过标量化学习的概括和超级界限。我们还提供了对真实目标的帕累托最佳集合与他们从训练数据中经验近似的帕累托（Pareto）最佳选择之间的关系的第一个理论分析。特别是，我们表现出令人惊讶的不对称性：所有帕累托最佳的解决方案都可以通过经验上的帕累托（Pareto）优势近似，但反之亦然。
translated by 谷歌翻译
对于深层网络而言，这是一个非常理想的属性，可与小型输入更改保持强大。实现此属性的一种流行方法是设计具有小Lipschitz常数的网络。在这项工作中，我们提出了一种用于构建具有许多理想属性的Lipschitz网络的新技术：它可以应用于任何线性网络层（完全连接或卷积），它在Lipschitz常数上提供了正式的保证，它是易于实施和运行效率，可以与任何培训目标和优化方法结合使用。实际上，我们的技术是文献中第一个同时实现所有这些属性的技术。我们的主要贡献是基于重新的重量矩阵参数化，该参数保证每个网络层最多具有LIPSCHITZ常数，并且导致学习的权重矩阵接近正交。因此，我们称这种层几乎是正交的Lipschitz（AOL）。在图像分类的背景下，实验和消融研究具有认证的鲁棒精度证实，AOL层获得与大多数现有方法相当的结果。但是，它们更容易实现，并且更广泛地适用，因为它们不需要计算昂贵的矩阵正交化或反转步骤作为网络体系结构的一部分。我们在https://github.com/berndprach/aol上提供代码。
translated by 谷歌翻译
我们研究了基于SGD的深神经网络（DNN）的优化是否可以适应高度准确且易于压缩的模型。我们提出了一种新的压缩意识的最小化器，称为CRAM，它以原则性的方式修改了SGD训练迭代，以产生在压缩操作（例如减肥或量化）下局部损失行为稳定的模型。标准图像分类任务的实验结果表明，CRAM产生的密集模型比标准SGD型基准线更准确，但在重量修剪下令人惊讶的是稳定的：例如，对于Imagenet上的Resnet50，CRAM训练的模型可能会损失到。他们的重量的70％一次性只有微小的精度损失。
translated by 谷歌翻译
我们介绍了Limes，这是一种通过非平稳流数据学习的新方法，灵感来自元学习的最新成功。主要想法不是尝试学习一个单个分类器，该分类器必须在所有发生的数据分布中都能很好地工作，也不是许多单独的分类器，而是要利用混合策略：我们学习一组模型参数任何特定的数据分布都是通过分类器适应得出的。假设有一个具有类优点偏移的多类分类设置，则可以在分析中进行适应步骤，仅在分类器的偏差术语中受到影响。我们工作的另一个贡献是外推步骤，该步骤可以根据先前的数据预测未来时间步骤的合适适应参数。结合起来，我们获得了一个轻巧的过程，可以从具有不同的类分布的流数据中学习，与训练单个模型相比，没有增加可训练的参数，几乎没有内存或计算开销。使用Twitter数据对一组示例性任务进行的实验表明，Limes的精度比替代方法更高，尤其是在最低的当今精度的相关现实世界中。
translated by 谷歌翻译
解决机器学习模型的公平关注是朝着实际采用现实世界自动化系统中的至关重要的一步。尽管已经开发了许多方法来从数据培训公平模型，但对这些方法对数据损坏的鲁棒性知之甚少。在这项工作中，我们考虑在最坏情况下的数据操作下进行公平意识学习。我们表明，在某些情况下，对手可能会迫使任何学习者返回过度偏见的分类器，无论样本量如何，有或没有降解的准确性，并且多余的偏见的强度会增加数据中数据不足的受保护组的学习问题，而数据中有代表性不足的组。我们还证明，我们的硬度结果紧密到不断的因素。为此，我们研究了两种自然学习算法，以优化准确性和公平性，并表明这些算法在损坏比和较大数据限制中受保护的群体频率方面享有订单最佳的保证。
translated by 谷歌翻译
A major open problem on the road to artificial intelligence is the development of incrementally learning systems that learn about more and more concepts over time from a stream of data. In this work, we introduce a new training strategy, iCaRL, that allows learning in such a classincremental way: only the training data for a small number of classes has to be present at the same time and new classes can be added progressively.iCaRL learns strong classifiers and a data representation simultaneously. This distinguishes it from earlier works that were fundamentally limited to fixed data representations and therefore incompatible with deep learning architectures. We show by experiments on CIFAR-100 and ImageNet ILSVRC 2012 data that iCaRL can learn many classes incrementally over a long period of time where other strategies quickly fail.
translated by 谷歌翻译
生物视觉系统的神经基础在实验上研究很具有挑战性，特别是因为相对于视觉输入，神经元活性变得越来越非线性。人工神经网络（ANN）可以为改善我们对这一复杂系统的理解提供各种目标，不仅充当硅中新假设产生的感觉皮层的预测数字双胞胎，而且还融合了生物启发的建筑主题，以逐步桥接桥梁生物和机器视觉之间的差距。该鼠标最近已成为研究视觉信息处理的流行模型系统，但是尚未确定识别鼠标视觉系统最新模型的标准化大规模基准。为了填补这一空白，我们提出了感官基准竞赛。我们从小鼠初级视觉皮层中收集了一个大规模数据集，其中包含七个小鼠的28,000多个神经元的反应，并通过数千个自然图像刺激，以及同时的行为测量，包括跑步速度，瞳孔扩张和眼动。基准挑战将基于固定测试集中神经元响应的预测性能对模型进行对模型，其中包括两个模型输入的轨道，仅限于刺激（感觉到）或刺激加行为（感觉符号+）。我们提供一个起始套件，以降低进入障碍的障碍，包括教程，预训练的基线模型以及带有一条线命令以进行数据加载和提交的API。我们希望将其视为定期挑战和数据发布的起点，也是衡量鼠标视觉系统及其他大规模神经系统识别模型中进度的标准工具。
translated by 谷歌翻译
来自Exoplanet转运的原始光线数据太复杂，无法胆量应用传统的异常检测方法。我们提出了一种架构，其估计与一对变形自身额外的主要传输和剩余偏差的潜在表示。我们使用两个制造的数据集显示，我们的异常传输残差的潜在表示比原始数据或传统变分性AutoEncoder的潜在代表更具可均衡的差异。然后，我们将方法应用于真实的Exoplanet Transit数据。我们的研究是第一个自动识别异常外延传输光线曲线。我们还释放了三个首次的数据集以实现进一步的研究。
translated by 谷歌翻译
背景：虽然卷积神经网络（CNN）实现了检测基于磁共振成像（MRI）扫描的阿尔茨海默病（AD）痴呆的高诊断准确性，但它们尚未应用于临床常规。这是一个重要原因是缺乏模型可理解性。最近开发的用于导出CNN相关性图的可视化方法可能有助于填补这种差距。我们调查了具有更高准确性的模型还依赖于先前知识预定义的判别脑区域。方法：我们培训了CNN，用于检测痴呆症和Amnestic认知障碍（MCI）患者的N = 663 T1加权MRI扫描的AD，并通过交叉验证和三个独立样本验证模型的准确性= 1655例。我们评估了相关评分和海马体积的关联，以验证这种方法的临床效用。为了提高模型可理解性，我们实现了3D CNN相关性图的交互式可视化。结果：跨三个独立数据集，组分离表现出广告痴呆症与控制的高精度（AUC $ \ GEQUQ $ 0.92）和MCI与控制的中等精度（AUC $ \约0.75美元）。相关性图表明海马萎缩被认为是广告检测的最具信息性因素，其其他皮质和皮质区域中的萎缩额外贡献。海马内的相关评分与海马体积高度相关（Pearson的r $ \大约$ -0.86，p <0.001）。结论：相关性地图突出了我们假设先验的地区的萎缩。这加强了CNN模型的可理解性，这些模型基于扫描和诊断标签以纯粹的数据驱动方式培训。
translated by 谷歌翻译
Array programming provides a powerful, compact, expressive syntax for accessing, manipulating, and operating on data in vectors, matrices, and higher-dimensional arrays [1]. NumPy is the primary array programming library for the Python language [2,3,4,5]. It plays an essential role in research analysis pipelines in fields as diverse as physics, chemistry, astronomy, geoscience, biology, psychology, material science, engineering, finance, and economics. For example, in astronomy, NumPy was an important part of the software stack used in the discovery of gravitational waves [6] and the first imaging of a black hole [7].Here we show how a few fundamental array concepts lead to a simple and powerful programming paradigm for organizing, exploring, and analyzing scientific data. NumPy is the foundation upon which the entire scientific Python universe is constructed. It is so pervasive that several projects, targeting audiences with specialized needs, have developed their own NumPy-like interfaces and array objects. Because of its central position in the ecosystem, NumPy increasingly plays the role of an interoperability layer between these new array computation libraries.
translated by 谷歌翻译